AI023
Giới thiệu về lập trình Triton
Giảm thiểu, Softmax và độ ổn định số học
Mục tiêu học tập
- Thực thi và diễn giải các thao tác giảm thiểu trên các tensor nhiều chiều.
- Xây dựng hàm Softmax để chuyển đổi các giá trị logit thành phân bố xác suất.
- Phát hiện các vấn đề ổn định số học phổ biến như tràn số dấu phẩy động và thiếu số dấu phẩy động.
- Triển khai hàm Softmax ổn định về mặt số học bằng cách sử dụng phép dịch hằng số và kỹ thuật Log-Sum-Exp.